Pour son premier LLM codeur ouvert, Mistral AI choisit une architecture alternative | Silicon

Clément Bohic - Silicon - 17/07
Pour développer une version 7B de son modèle Codestral, Mistral AI n'a pas utilisé de transformeur, mais l'architecture Mamba2.

À quand le support de Codestral Mamba dans llama.cpp ? Mistral AI invite à garder un œil sur l’évolution de cette demande.

L’usage en local est effectivement l’une des promesses de ce LLM « spécial code ». À environ 7 milliards de paramètres, il est plus petit que le modèle Codestral 22B disponible depuis quelques semaines. Il s’en distingue aussi pa...
[Courte citation de 8% de l'article original]